from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 设置设备
CUDA_DEVICE = "cuda" if torch.cuda.is_available() else "cpu"

# 模型路径
model_name_or_path = '/data/chenbo/wzh/Qwen/Qwen2.5-1.5B-Instruct'

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(
    model_name_or_path,
    use_fast=True,  # 推荐使用 fast 版本，性能更好
    local_files_only=True  # 强制加载本地文件
)

model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path,
    device_map=CUDA_DEVICE,
    torch_dtype=torch.bfloat16
)

model.to(CUDA_DEVICE)

# 输入文本
input_text = "这件事情的背景是“巴以冲突是中东冲突的核心之一，涉及以色列和巴勒斯坦对同一块土地的排他性主权要求。犹太移民定居点和耶路撒冷地位问题是主要障碍。2024年1月20日，以色列总理内塔尼亚胡表示未承诺建立巴勒斯坦国。1月22日，巴勒斯坦总理阿什提耶强调“两国方案”是国际共识。1月24日，内塔尼亚胡称以色列将继续在加沙的军事行动直至“完全胜利”。3月，以色列没收8平方公里约旦河西岸的巴勒斯坦土地。4月16日，联合国妇女署报告称，新一轮冲突已导致加沙地带超过1万名妇女死亡。”。你现在要做的任务是对基于该背景的微博内容或评论进行立场分析。现在给你一段微博评论 content，你需要输出这段评论所指立场的目标target是什么。请注意！target指的是这个作者字面上在对谁进行评论？或者说评论的主体/角色。\n你需要判断下面这段评论的目标，评论为：“坚决支持哈嘛胡赛打击美以的正义事业[加油][加油]”。"

# 使用分词器对输入文本进行编码
inputs = tokenizer(input_text, return_tensors="pt")  # 返回 PyTorch 张量
input_ids = inputs["input_ids"].to(CUDA_DEVICE)  # 将输入张量移动到 GPU

# 计算输入 Token 长度
token_length = input_ids.size(1)  # 获取 token 的长度
print(f"输入文本的 Token 长度为: {token_length}")